On-Policy Delta Distillation
在线策略增量蒸馏
🧭 LLM训练 · 推理蒸馏
NAVER AI Lab
用教师与其基模型输出的差异（delta信号）替代直接模仿，更高效传递推理能力增益
📌 工作参考价值（4 点）
- 在基于LLM的推荐或Agent模型中，可以将教师模型设置为经任务指令微调的强版本，基模型为原始预训练版本，蒸馏时拟合两者输出logits之差（delta信号），更聚焦于任务特定的推理模式迁移，避免直接模仿可能引入的冗余信息。
- 对于对话式推荐或多步推理Agent，delta信号能显式捕捉“推理策略增益”，训练更稳定，且论文表明仅需短暂后训练即可大幅提升性能，适合业务快速迭代。
- 若搜索推荐业务中使用强化学习（如RLHF）存在奖励设计困难或训练噪声大，可尝试OPD²替代，直接用token级监督，工程实现简单，无需单独的价值网络或偏好数据。
- 蒸馏过程中需要教师和基模型的双重前向计算，实际部署时可缓存基模型在训练数据上的输出分布，减少计算开销。